Triệu Quang Tổ xuất thân trong một gia đình quan liêu, thuộc thế tộc Hán Dương Triệu thị. Bố Quang Tổ là Triệu Nguyên Cương (조원강, Jo Wongang), quan lại hạ cấp, thuộc dòng dõi công thần khai quốc Triệu Ôn (조온). Triệu Nguyên Cương mất khi Quang Tổ mười chín tuổi mất cha, làm con tận hiếu, săn sóc mẹ già, tiếng tăm nổi danh toàn quốc. Triệu Quang Tổ bái làm đệ tử của Kim Quang Bật (김굉필, Kim Gwoeng-pil), đệ tử của Kim Tông Trực (김종직, Kim Jong-jik).